Theo Đại Nam nhất thống chí, Phạm Bạch Hổ sinh ngày 10 tháng 1 năm Canh Ngọ (tức 21 tháng 2 năm 910), cha là Phạm Lệnh Công người lộ Nam Sách Giang (nay là Nam Sách- Hải Dương) là một công thần dưới triều Ngô vương. Lệnh Công có tiệm buôn ở Đằng Châu, tại đây ông có vợ và sinh ra Phạm Bạch Hổ. Tương truyền mẹ ông nằm mộng thấy Sơn Tinh và Hổ trắng mà có mang nên đặt tên ông là Bạch Hổ. Lớn lên Bạch Hổ có thân hình vạm vỡ, mạnh mẽ như hổ, thông minh hơn người, văn võ song toàn.

Ông sinh ra trong một dòng họ giàu truyền thống võ nghệ, đời đời làm hào trưởng vùng Trà Hương. Ông nội là Phạm Chí Dũng vốn là Hồng châu tướng quân. Anh trai ông Phạm Man là Tham chính đô đốc đời Nam Tấn vương Ngô Xương Văn. Các cháu ông như Phạm Hạp và Phạm Cự Lạng đều là các tướng giỏi thời Đinh được người đời sau ca tụng là "Giao Châu thất hùng". Con gái ông, Phạm Thị Ngọc Dung là vợ của Ngô Xương Ngập và sinh ra Ngô Xương Xí, sau trở thành Sứ quân thứ nhất trong 12 sứ quân.